První zmínka o vodním hradu pochází z roku 1316. Za Jana Lucemburského to byl hrad královský a byl často zastavován. V roce 1335 koupil Budyni Zbyněk Zajíc z Valdeka z rodu Hazmburků a Hazmburkové pak hrad postupně přestavěli v renesanční zámek. V roce 1614 koupil panství Adam ze Sternberga, v roce 1676 se stal majitelem Gundakar z Ditrichštejna. Zámek poznamenala sedmiletá a třicetiletá válka a několik požárů. V roce 1759 byla stržena dvě zchátralá zámecká křídla a v roce 1823 také věž. Posledními majiteli byli v letech 1858-1945 Herbersteinové, kteří chátrající zámek nutnými opravami zachránili.